Mission terminée ! Vous avez maîtrisé les briques fondamentales du langage des IA !Pas tout à fait correct ! Essayons de reconstruire cette séquence !Connaissances téléchargées : Tokens et Séquences ... Est-ce que c'est ... ? ... Ou ...
Comment appelle-t-on les petites unités que l'IA utilise pour lire ?
Exactement ! Les tokens sont les petites unités comme « pomme », « ing » ou « ? » qui constituent le langage pour une IA.
Comment un ordinateur représente-t-il un token pour pouvoir le comprendre ?
Exactement ! Les ordinateurs ne comprennent que les nombres, donc chaque token reçoit son propre numéro d'identification unique.
Si nous avons les tokens pour « ami » et « ship », comment appelle-t-on le mot « friendship » lorsqu'il est une liste de chiffres ?
Parfait ! Une liste ordonnée de numéros de tokens s'appelle une séquence.
Pourquoi l'ordre des tokens dans une séquence compte-t-il tant ?
Exactement ! Les mêmes tokens dans un ordre différent peuvent changer entièrement le sens d'une phrase.
Quel est le nombre maximum de tokens qu'une IA peut traiter en même temps ?
Exactement ! La fenêtre de contexte est la limite du nombre d'informations que l'IA peut « garder en tête » pendant une conversation.
Un seul signe de ponctuation, comme un point (.), peut-il être un token ?
Exactement ! Les tokens peuvent être des mots entiers, des parties de mots ou même des signes de ponctuation. Tout est une brique de construction !
1
Tokenisation et Séquences
EvoClass-IA004Leçon 4
0
🤖 Bip Bip ! Bienvenue, Cadet ! Sélectionnez un sous-thème ci-dessous pour voir comment une IA « lit » grâce à la tokenisation.
Commande de Py-BotEN DIRECT
Bip Bip ! Bonjour, Cadet ! Pour apprendre à une IA à lire, nous devons d'abord couper les mots en petits morceaux « Lego ». Prêt à découvrir comment les ordinateurs transforment les mots en chiffres ?
Progression du sujet0%
Très bonne choix ! Un token est comme une brique Lego. Des mots comme « friendship » sont divisés en parties plus petites comme « friend » et « ship ». Même un simple point « . » est un token ! Pour une IA, ces morceaux sont plus faciles à gérer que de longues phrases entières.
1
Sous-thème 1
Qu'est-ce qu'un token ?
Découper le texte en petites briques comme « friend » et « ship ».
Regardez ça ! Dès que nous avons des tokens, l'IA leur attribue un numéro d'identification secret. Ces chiffres forment une « séquence ». Souvenez-vous : l'ordre compte ! « The dog bit the man » et « The man bit the dog » utilisent les mêmes blocs, mais la séquence raconte une histoire complètement différente !
2
Sous-thème 2
La puissance des séquences
Transformer les blocs en une liste mathématique où l'ordre est tout.
Saviez-vous que l'IA dispose d'une « fenêtre de contexte », qui est comme sa taille de main ? Elle ne peut tenir qu'un certain nombre de tokens dans sa « mémoire » à la fois avant de commencer à oublier le début !
Saviez-vous ?
L'IA dispose d'une « fenêtre de contexte », qui est comme sa taille de main. Elle ne peut tenir qu'un certain nombre de tokens dans sa « mémoire » à la fois avant de commencer à oublier le début !
Chargement...
⭐⭐⭐

Mission terminée !

Vous êtes un maître des tokens !